package com.j.lemon.learn.clickhouse;

import com.alibaba.druid.pool.DruidDataSource;
import com.opencsv.CSVReader;
import org.apache.commons.lang3.RandomStringUtils;
import org.apache.commons.lang3.StringUtils;
import org.springframework.util.CollectionUtils;

import java.io.FileReader;
import java.io.IOException;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.time.Instant;
import java.time.LocalDateTime;
import java.time.ZoneOffset;
import java.time.format.DateTimeFormatter;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

/**
 * @author lijunjun
 */
public class CkTestUser {
    public static void main(String[] args) throws SQLException {
        final ExecutorService executorService = new ThreadPoolExecutor(80, 80, 0, TimeUnit.MILLISECONDS, new ArrayBlockingQueue<>(10000), r -> new Thread(r, "executeSql-thread"));
        String driverClassName = "ru.yandex.clickhouse.ClickHouseDriver";
        String url = "jdbc:clickhouse://10.28.149.247:38123/default";
        String userName = "audit4a";
        String password = "rryzggTR";
        DruidDataSource dataSource = new DruidDataSource();
        dataSource.setDriverClassName(driverClassName);
        dataSource.setUrl(url);
        dataSource.setUsername(userName);
        dataSource.setPassword(password);
        dataSource.setTestWhileIdle(true);
        dataSource.setMaxActive(100);
        dataSource.setMaxWait(60000);
        dataSource.setTestOnBorrow(false);


        for (int i = 0; i < 1; i++) {
            Connection connection = dataSource.getConnection();
            connection.setAutoCommit(false);
            String sql= "insert into user_profile values (\n" +
                    "?,?,?,?,?,?,?,?,?,?)";
            PreparedStatement ps = connection.prepareStatement(sql);
            String csvFile = "/Users/lijunjun/Desktop/learn/alibabaUserBehaviorDatasets/user_profile.csv";
            CSVReader reader = null;
            try {
                reader = new CSVReader(new FileReader(csvFile));
                String[] line;
                List<String[]> data = new ArrayList<>();
                int count = 0;
                while ((line = reader.readNext()) != null) {
                    count++;
                    if(count<=1){
                        continue;
                    }
                    if(data.size()==10000){
                        List<String[]> aaa = new ArrayList<>(data);
                        data.clear();
                        for (String[] datum : aaa) {
                            ps.setInt(1,StringUtils.isBlank(datum[0])?-1:Integer.parseInt(datum[0]));
                            ps.setInt(2,StringUtils.isBlank(datum[1])?-1:Integer.parseInt(datum[1]));
                            ps.setInt(3,StringUtils.isBlank(datum[2])?-1:Integer.parseInt(datum[2]));
                            ps.setInt(4,StringUtils.isBlank(datum[3])?-1:Integer.parseInt(datum[3]));
                            ps.setInt(5,StringUtils.isBlank(datum[4])?-1:Integer.parseInt(datum[4]));
                            ps.setInt(6,StringUtils.isBlank(datum[5])?-1:Integer.parseInt(datum[5]));
                            ps.setInt(7,StringUtils.isBlank(datum[6])?-1:Integer.parseInt(datum[6]));
                            ps.setInt(8,StringUtils.isBlank(datum[7])?-1:Integer.parseInt(datum[7]));
                            ps.setInt(9,StringUtils.isBlank(datum[8])?-1:Integer.parseInt(datum[8]));
                            LocalDateTime localDateTime = LocalDateTime.now();
                            String format = localDateTime.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));
                            ps.setString(10,format);
                            ps.addBatch();
                        }
                        long l = System.currentTimeMillis();
                        ps.executeBatch();
                        connection.commit();
                        System.out.println("10000 records batch inserted cost:"+ (System.currentTimeMillis() - l));
                    }
                    data.add(line);
//                System.out.println(count);
                }
                if(!CollectionUtils.isEmpty(data)){
                    for (String[] datum : data) {
                        ps.setInt(1,StringUtils.isBlank(datum[0])?-1:Integer.parseInt(datum[0]));
                        ps.setInt(2,StringUtils.isBlank(datum[1])?-1:Integer.parseInt(datum[1]));
                        ps.setInt(3,StringUtils.isBlank(datum[2])?-1:Integer.parseInt(datum[2]));
                        ps.setInt(4,StringUtils.isBlank(datum[3])?-1:Integer.parseInt(datum[3]));
                        ps.setInt(5,StringUtils.isBlank(datum[4])?-1:Integer.parseInt(datum[4]));
                        ps.setInt(6,StringUtils.isBlank(datum[5])?-1:Integer.parseInt(datum[5]));
                        ps.setInt(7,StringUtils.isBlank(datum[6])?-1:Integer.parseInt(datum[6]));
                        ps.setInt(8,StringUtils.isBlank(datum[7])?-1:Integer.parseInt(datum[7]));
                        ps.setInt(9,StringUtils.isBlank(datum[8])?-1:Integer.parseInt(datum[8]));
                        LocalDateTime localDateTime = LocalDateTime.now();
                        String format = localDateTime.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));
                        ps.setString(10,format);
                        ps.addBatch();
                    }
                    ps.executeBatch();
                    connection.commit();
                    System.out.println("final insert "+data.size());
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }







    }
    private static void addExtColumns(PreparedStatement ps) throws SQLException {
        for (int i = 0; i < 500; i++) {
            ps.setString(i+6,RandomStringUtils.randomAlphanumeric(10));
        }
    }

    static class Task1 implements Runnable{
        private final List<String[]> dataSet;
        DruidDataSource dataSource;

        public Task1(List<String[]> data, DruidDataSource dataSource) {
            this.dataSet = data;
            this.dataSource = dataSource;
        }

        @Override
        public void run() {
            Connection connection = null;
            PreparedStatement ps = null;
            try {
                connection = dataSource.getConnection();
                connection.setAutoCommit(false);
                String sql= "insert into behavior_log values (\n" +
                        "?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,\n" +
                        "?,?,?,?,?)";
                ps = connection.prepareStatement(sql);
                for (String[] datum : dataSet) {
                    ps.setInt(1,Integer.parseInt(datum[0]));
                    ps.setString(2,datum[1]);
                    ps.setString(3,datum[2]);
                    ps.setString(4,datum[3]);
                    LocalDateTime localDateTime = LocalDateTime.ofInstant(Instant.ofEpochMilli(Long.parseLong(datum[4])), ZoneOffset.of("+8"));
                    String format = localDateTime.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));
                    ps.setString(5,format);
                    addExtColumns(ps);
                    ps.addBatch();
                }
                long l = System.currentTimeMillis();
                ps.executeBatch();
                connection.commit();
                System.out.println("10000 records batch inserted cost:"+ (System.currentTimeMillis() - l));
            } catch (SQLException throwables) {
                throwables.printStackTrace();
            }finally {
                if(connection!=null){
                    try {
                        connection.close();
                    } catch (SQLException throwables) {
                        throwables.printStackTrace();
                    }
                }
                if(ps!= null){
                    try {
                        ps.close();
                    } catch (SQLException throwables) {
                        throwables.printStackTrace();
                    }
                }
            }
        }
    }
}
